home *** CD-ROM | disk | FTP | other *** search
/ HPAVC / HPAVC CD-ROM.iso / SNNSV32.ZIP / SNNSv3.2 / examples / letseq.README < prev    next >
Text File  |  1994-04-25  |  5KB  |  122 lines
  1. =============================================================================
  2.     README file for the example files letseq.xxx
  3. =============================================================================
  4.  
  5.  
  6. Description:    Elman network (partially recurrent network)
  7. ============    for the task to predict a letter sequence
  8.  
  9. The task of this partially recurrent network is to predict a letter
  10. sequence of the letters b, d, g, a i u. The problem is described in
  11. detail in J.L. Elman: Finding Structure in Time. Cognitive Science,
  12. 14:179-211, 1990
  13.  
  14.  
  15. See the user manual for a detailed description of Elman networks and
  16. their usage.
  17.  
  18.  
  19. Pattern-Files:    letseq_train.pat
  20. ==============    letseq_test.pat
  21.  
  22. The six input units code the input letters in a 6 Bit binary
  23. vector. (Note that in SNNS all inputs and outputs are treated as real
  24. values). The coding is as follows:
  25.  
  26. letter         Consonant Vowel Interrupted      High    Back    Voiced
  27.  b        1    0    1        0    0    1
  28.  d        1    0    1        1    0    1
  29.  g        1    0    1        0    1    1
  30.  a        0    1    0        0    1    1
  31.  i        0    1    0        1    0    1
  32.  u        0    1    0        1    1    1
  33.  
  34. A random letter sequence of length 1000 was generated from the
  35. consonants of this set. From this sequence a new sequence was
  36. generated by replacing every consonant of the original seqence with
  37. the following rules:
  38.     b    ->    ba
  39.     d    ->    dii
  40.     g    ->    guuu
  41. resulting in a new sequence, in which the consonants still were
  42. random, but the type and number of vowels was determined by the
  43. preceding consonant.
  44.  
  45. Both pattern files may be used for the standard elman network
  46. letseq_elman.net and the hierarchical elman network letseq_h_elm.net.
  47.  
  48.  
  49. Network-Files:    letseq_elman.net
  50. ==============    letseq_h_elm.net
  51.  
  52. The file letseq_elman.net contains a trained elman network for the
  53. task to predict a semi-random letter sequence as described above.
  54. This network has the following dimensions:
  55.      6 input units
  56.     24 hiden units in one hidden layer
  57.     24 context units
  58.      6 output units
  59.  
  60. The file letseq_h_elm.net contains a trained hierarchical elman
  61. network for the  same task. This network has the following dimensions:
  62.      6 input units
  63.      8 hiden units in the first hidden layer
  64.      8 context units in the first context layer
  65.      8 hiden units in the second hidden layer
  66.      8 context units in the second context layer
  67.      6 output units
  68. The second network has a similar predictive power as the first but
  69. much less weights.
  70.  
  71. The standard configuration files for these network files are
  72. letseq_elman.cfg and letseq_h_elm.cfg (one 2D display only).
  73.  
  74.  
  75. Hints:
  76. ======
  77.  
  78. The easiest way to create Elman networks is with the BIGNET
  79. panel from the info panel. All network parameters can then be
  80. specified in a special Elman network creation panel called
  81. with the respective button in the BIGNET panel.
  82.  
  83. If you want to train your own Elman network from scratch, note to set
  84. the proper initialization function and initialization parameters.
  85.  
  86. Remember to set the update function to JE_Order or JE_Special,
  87. depending on your task (see the SNNS user manual for more details).
  88.  
  89. You may choose between four different learning functions, 
  90. JE_BP (Backprop), JE_BP_Momentum, JE_Quickprop, and JE_Rprop.
  91. The example was trained with a combination of JE_BP and JE_Rprop:
  92.     10 cycles JE_BP with learning rate 0.5 (1st parameter), plus
  93.     10 cycles JE_Rprop with parameters 0.1 (1st) and 50.0 (2nd).
  94.  
  95. The behaviour of this network can very nicely be visualized with the
  96. network analyzer tool which can be called from the info panel with the
  97. GUI button as ANALYZER. The proceed as follows:
  98. Press ON and LINE (so that both buttons are highlighted) from the
  99. buttons at the right.
  100. Press SETUP and choose T-E graph from the network analyzer setup panel.
  101. Choose the following values for axis, min, max, unit, grid:
  102.     x    0.0,  50.0, - ,  10
  103.     y    0.0,  1.0,  _,,  10
  104.  
  105. This specifies the display area to be a time series of length 100 with
  106. range [0, 1] sum squared error is displayed (middle error button)
  107. Choose m-test: 10 in this network analyzer setup panel to test 10
  108. patterns in a multiple inputs test sequence (You may also choose to test
  109. more or less input patterns.
  110. Finally, press the button M-TEST to test the trained network for the
  111. number of input patterns specified.
  112.  
  113. You see how the prediction error is zero for all vowels that are
  114. predicted, because the network can predict them from the preceeding
  115. consonant. The prediction error for the consonants which still appear
  116. randomly gives the sharp peaks of the error curve.
  117.  
  118.  
  119. =============================================================================
  120.     End of README file
  121. =============================================================================
  122.